在模板和搜索区域之间学习强大的功能匹配对于3D暹罗跟踪至关重要。暹罗功能匹配的核心是如何在模板和搜索区域之间的相应点上分配高特征相似性，以进行精确的对象本地化。在本文中，我们提出了一个新颖的点云登记驱动的暹罗跟踪框架，直觉是空间对齐相应点（通过3D注册）倾向于实现一致的特征表示。具体而言，我们的方法由两个模块组成，包括特定于特定的非局部注册模块和一个注册辅助的sindhorn模板 - 特征聚合模块。登记模块在模板和搜索区域之间的精确空间对齐中进行目标。提出了跟踪特异性的空间距离约束，以优化非局部模块中的交叉注意权重，以进行判别特征学习。然后，我们使用加权SVD来计算模板和搜索区域之间的刚性转换，并对齐它们以实现所需的空间对齐相应点。对于特征聚合模型，我们将转换模板和搜索区域之间的特征匹配作为最佳传输问题，并利用Sinkhorn优化来搜索异常型匹配匹配解决方案。同样，建造了登记辅助空间距离图，以改善无法区分的区域（例如光滑的表面）的匹配鲁棒性。最后，在获得的功能匹配地图的指导下，我们将目标信息从模板中汇总到搜索区域中以构建特定于目标的特征，然后将其馈送到一个类似中心点的检测头中以进行对象定位。关于Kitti，Nuscenes和Waymo数据集的广泛实验验证了我们提出的方法的有效性。
translated by 谷歌翻译
移动通知系统在各种应用程序中起着重要作用，以通信，向用户发送警报和提醒，以告知他们有关新闻，事件或消息的信息。在本文中，我们将近实时的通知决策问题制定为马尔可夫决策过程，在该过程中，我们对奖励中的多个目标进行了优化。我们提出了一个端到端的离线增强学习框架，以优化顺序通知决策。我们使用基于保守的Q学习的双重Q网络方法来应对离线学习的挑战，从而减轻了分配转移问题和Q值高估。我们说明了完全部署的系统，并通过离线和在线实验证明了拟议方法的性能和好处。
translated by 谷歌翻译
We conduct a systematic study of backdoor vulnerabilities in normally trained Deep Learning models. They are as dangerous as backdoors injected by data poisoning because both can be equally exploited. We leverage 20 different types of injected backdoor attacks in the literature as the guidance and study their correspondences in normally trained models, which we call natural backdoor vulnerabilities. We find that natural backdoors are widely existing, with most injected backdoor attacks having natural correspondences. We categorize these natural backdoors and propose a general detection framework. It finds 315 natural backdoors in the 56 normally trained models downloaded from the Internet, covering all the different categories, while existing scanners designed for injected backdoors can at most detect 65 backdoors. We also study the root causes and defense of natural backdoors.
translated by 谷歌翻译
生成具有语义信息的口语嵌入是一个引人入胜的话题。与基于文本的嵌入相比，它们涵盖了语音和语义特征，它们可以提供更丰富的信息，并可能有助于改善ASR和语音翻译系统。在本文中，我们审查并研究了该领域开创性工作的真实性：Specy2Vec。首先，提出了一种基于谐音的检查方法来检查Secembor2Vec作者发布的语音嵌入。没有迹象表明这些嵌入是由Speech2VEC模型生成的。此外，通过对词汇组成的进一步分析，我们怀疑基于文本的模型可以制造这些嵌入。最后，我们重现了Secem2VEC模型，指的是原始论文中的官方代码和最佳设置。实验表明，该模型未能学习有效的语义嵌入。在单词相似性基准中，男性的相关得分为0.08，WS-353-SIM测试的相关得分为0.15，比原始论文中所述的相关得分为0.5。我们的数据和代码可用。
translated by 谷歌翻译
Covid-19-Pandemic继续在世界上迅速传播，并在全球人类健康和经济中造成巨大危机。它的早期检测和诊断对于控制进一步的扩散至关重要。已经提出了许多基于学习的深度方法，以帮助临床医生根据计算机断层扫描成像进行自动COVID-19诊断。但是，仍然存在挑战，包括现有数据集中的数据多样性，以及由于深度学习模型的准确性和敏感性不足而导致的检测不满意。为了增强数据多样性，我们设计了增量级别的增强技术，并将其应用于最大的开放式基准测试数据集Covidx CT-2A。同时，在本研究中提出了从对比度学习中得出的相似性正则化（SR），以使CNN能够学习更多参数有效的表示，从而提高了CNN的准确性和敏感性。七个常用CNN的结果表明，通过应用设计的增强和SR技术，可以稳定地提高CNN性能。特别是，具有SR的Densenet121在三个试验中的三类分类中达到99.44％的平均测试准确性，包括正常，非covid-19-19-19肺炎和Covid-19-19。 COVID-19肺炎类别的精确度，敏感性和特异性分别为98.40％，99.59％和99.50％。这些统计数据表明，我们的方法已经超过了COVIDX CT-2A数据集上现有的最新方法。
translated by 谷歌翻译
普遍的后门是由动态和普遍的输入扰动触发的。它们可以被攻击者故意注射，也可以自然存在于经过正常训练的模型中。它们的性质与传统的静态和局部后门不同，可以通过扰动带有一些固定图案的小输入区域来触发，例如带有纯色的贴片。现有的防御技术对于传统后门非常有效。但是，它们可能对普遍的后门无法正常工作，尤其是在后门去除和模型硬化方面。在本文中，我们提出了一种针对普遍的后门，包括天然和注射后门的新型模型硬化技术。我们基于通过特殊转换层增强的编码器架构来开发一般的普遍攻击。该攻击可以对现有的普遍后门攻击进行建模，并通过类距离进行量化。因此，使用我们在对抗训练中攻击的样品可以使模型与这些后门漏洞相比。我们对9个具有15个模型结构的9个数据集的评估表明，我们的技术可以平均扩大阶级距离59.65％，精度降解且没有稳健性损失，超过了五种硬化技术，例如对抗性训练，普遍的对抗训练，Moth，Moth等， 。它可以将六次普遍后门攻击的攻击成功率从99.06％降低到1.94％，超过七种最先进的后门拆除技术。
translated by 谷歌翻译
瞬间方法是密度估计的重要手段，但它们通常强烈依赖于可行功能的选择，这严重影响了性能。我们提出了使用样本矩阵的密度估计的非古典参数化，这不需要选择这种功能。参数化由kullback-leibler距离引起，并且它被证明存在并且是在不依赖于数据的简单的简单之前存在的解决方案，可以通过凸优化获得。仿真结果表明，所提出的估计估计估计多种模态密度的性能，这些估计是不同类型功能的混合物。
translated by 谷歌翻译
深度学习的巨大成功主要是由于大规模的网络架构和高质量的培训数据。但是，在具有有限的内存和成像能力的便携式设备上部署最近的深层模型仍然挑战。一些现有的作品通过知识蒸馏进行了压缩模型。不幸的是，这些方法不能处理具有缩小图像质量的图像，例如低分辨率（LR）图像。为此，我们采取了开创性的努力，从高分辨率（HR）图像到达将处理LR图像的紧凑型网络模型中学习的繁重网络模型中蒸馏有用的知识，从而推动了新颖的像素蒸馏的当前知识蒸馏技术。为实现这一目标，我们提出了一名教师助理 - 学生（TAS）框架，将知识蒸馏分解为模型压缩阶段和高分辨率表示转移阶段。通过装备新颖的特点超分辨率（FSR）模块，我们的方法可以学习轻量级网络模型，可以实现与重型教师模型相似的准确性，但参数更少，推理速度和较低分辨率的输入。在三个广泛使用的基准，\即，幼崽200-2011，Pascal VOC 2007和ImageNetsub上的综合实验证明了我们方法的有效性。
translated by 谷歌翻译
当前弱监督的语义分割（WSSS）框架通常包含分离的掩模 - 细化模型和主要语义区域挖掘模型。这些方法将包含冗余特征提取骨干网和偏置的学习目标，使其计算复杂但是解决WSSS任务的子最优。为了解决这个问题，本文建立了一个紧凑的学习框架，将分类和掩码精细组件嵌入统一的深层模型。通过共享特征提取骨干通，我们的模型能够促进两个组件之间的知识共享，同时保留低计算复杂性。为了鼓励高质量的知识互动，我们提出了一种新颖的替代自我双重教学（ASDT）机制。与传统蒸馏策略不同，我们模型中的两个教师分支的知识通过脉冲宽度调制（PWM）替代地蒸馏到学生分支，该脉冲宽度调制（PWM）产生PW波形选择信号以引导知识蒸馏过程。通过这种方式，学生分支可以帮助阻止模型落入由教师分支提供的不完美知识引起的局部最低解决方案。 Pascal VOC的综合实验2012和Coco-Stuff 10K展示了拟议的替代自我双重教学机制的有效性以及我们方法的新的最新性能。
translated by 谷歌翻译
视频异常检测旨在识别视频中发生的异常事件。由于异常事件相对较少，收集平衡数据集并培训二进制分类器以解决任务是不可行的。因此，最先前的方法只使用无监督或半监督方法从正常视频中学到。显然，它们是有限的捕获和利用鉴别异常特征，这导致受损的异常检测性能。在本文中，为了解决这个问题，我们通过充分利用用于视频异常检测的正常和异常视频来提出新的学习范式。特别是，我们制定了一个新的学习任务：跨域几次射击异常检测，可以从源域中的众多视频中学习知识，以帮助解决目标域中的几次异常检测。具体而言，我们利用目标普通视频的自我监督培训来减少域间隙，并设计一个Meta Context Cenception模块，以探索几次拍摄设置中的事件的视频上下文。我们的实验表明，我们的方法显着优于DotA和UCF犯罪数据集的基线方法，新任务有助于更实用的异常检测范例。
translated by 谷歌翻译